From Motions to Emotions: Classification of Affect from Dance Movements using Deep Learning

University of Genoa, Genoa, Italy

University of Genoa, Genoa, Italy

University of Genoa, Genova, Italy

University of Genoa, Genoa, Italy

This work investigates classification of emotions from MoCap full-body data by using Convolutional Neural Networks (CNN). Rather than addressing regular day to day activities, we focus on a more complex type of full-body movement - dance. For this purpose, a new dataset was created which contains short excerpts of the performances of professional dancers who interpreted four emotional states: anger, happiness, sadness, and insecurity. Fourteen minutes of motion capture data are used to explore different CNN architectures and data representations. The results of the four-class classification task are up to 0.79 (F1 score) on test data of other performances by the same dancers. Hence, through deep learning, this paper proposes a novel and effective method of emotion classification, which can be exploited in affective interfaces.

本研究では、CNN（Convolutional Neural Networks）を用いて、MoCapの全身データから感情を分類することを検討している。日常的な動作ではなく、より複雑な全身運動の一種であるダンスに着目している。この目的のために、怒り、幸福、悲しみ、不安の4つの感情状態を解釈するプロのダンサーのパフォーマンスの短い抜粋を含む新しいデータセットが作成された。14分間のモーションキャプチャデータを用いて、様々なCNNアーキテクチャとデータ表現を検討する。4クラス分類タスクの結果は、同じダンサーによる他のパフォーマンスのテストデータで最大0.79（F1スコア）であった。したがって、深層学習を通じて、本論文は感情インターフェースに活用できる、新規で効果的な感情分類の方法を提案する。